Self-Evolving Memory for Generative Recommendation
生成式推荐的自进化记忆框架 LION
🧭 生成式推荐 · 持续学习与记忆隔离 ★ 深度解读
National University of Singapore · Meta AI
用稀疏 KV 记忆层隔离不同用户行为模式的梯度，缓解生成式推荐持续进化中的进化冲突
📌 工作参考价值（4 点）
- 在持续更新生成式推荐或 LLM4Rec 模型时，不要直接全参 fine-tune；可以插一个固定大小的稀疏 KV 记忆层，用 Top-K 激活按用户行为模式路由，隔离头部/长尾梯度冲突，避免高频用户主导模型更新。
- 想强化长尾或低频行为，可加 consolidation loss：对记忆增强后的用户表示直接预测 next item；注意该 loss 必须加在“隔离后的表示”上，直接加在共享 backbone 反而会引入额外梯度冲突。
- 做用户长期偏好建模可用“全序列 query + 近期窗口计算”的非对称设计：仅用完整历史去激活记忆 slot，主 Transformer 仍只消费最近几条交互；既能捕捉长期行为模式，又不增加推理序列长度。
- 稀疏 KV 记忆参数固定为 2Nd，不随用户规模增长；实验表明 N=4096,K=32 与 N=65536,K=8 性能几乎一致，工程上可大幅压缩参数，替代 per-user embedding 或 LoRA，降低部署成本。